Thema: Release-Informationen per IMDB-ID

Hab hier heute was zusammen geschrieben um Informationen über Filme per BASH zu sammeln:

Code:

imdb () {
    # execute: imdb "datei.nfo"
    # execute debug: imdb "datei.nfo" "whatever"
    proxy_user=""
    proxy_pass=""
    proxy_host=""
    proxy_port=""
    if ([ -n "${proxy_user}" ] && [ -n "${proxy_pass}" ] && [ -n "${proxy_host}" ] && [ -n "${proxy_port}" ]); then
​	    PROXY_IF="-U ${proxy_user}:${proxy_pass} --socks5 ${proxy_host}:${proxy_port}"
    else
​	    unset PROXY_IF
    fi
    imdb_id=`tr '[\000-\011\013-\037\177-\377]' '.' < ${1} | grep -m1 -oE "tt[0-9]{7}"`
    if [ -n "${imdb_id}" ]; then
        apikey=""
        omdb=`curl -sS ${PROXY_IF} -L "http://www.omdbapi.com/?i=${imdb_id}&plot=full&r=xml"`
        movie_title=`echo "${omdb}" | cut -d\" -f8`
        movie_title_de=`curl -sS ${PROXY_IF} -L "http://www.imdb.com/title/${imdb_id}/releaseinfo" | grep "German" -A1 | grep "</td>" | grep "<td>" | grep -v "German" | cut -d\> -f2 | cut -d\< -f1 | head -n1`
        movie_year=`echo "${omdb}" | cut -d\" -f10`
        movie_duration=`echo "${omdb}" | cut -d\" -f16`
        movie_genre=`echo "${omdb}" | cut -d\" -f18`
        movie_actor=`echo "${omdb}" | cut -d\" -f24`
        movie_country=`echo "${omdb}" | cut -d\" -f30`
        movie_poster=`echo "${omdb}" | cut -d\" -f34`
        movie_rating=`echo "${omdb}" | cut -d\" -f38`
        movie_votes=`echo "${omdb}" | cut -d\" -f40`
        movie_type=`echo "${omdb}" | cut -d\" -f44`
        themoviedb_temp=`curl -sS ${PROXY_IF} -L "https://api.themoviedb.org/3/find/${imdb_id}?api_key=${apikey}&external_source=imdb_id&language=de"`
        themoviedb_plot=`echo "${themoviedb_temp}" | sed 's/","/\n"/g' | grep "overview" | cut -c 13- | sed 's/"//g' | sed 's/\\\//g'`
        if [ -n "${2}" ]; then
            echo "# DEBUG -----------------------------------------------------------------------"
            echo "Titel         : ${movie_title}"
            echo "Titel (DE)    : ${movie_title_de}"
            echo "Jahr          : ${movie_year}"
            echo "Laufzeit      : ${movie_duration}"
            echo "Genre         : ${movie_genre}"
            echo "Schauspieler  : ${movie_actor}"
            echo "Land          : ${movie_country}"
            echo "Poster        : ${movie_poster}"
            echo "Bewertung     : ${movie_rating}"
            echo "Votes         : ${movie_votes}"
            echo "Typ           : ${movie_type}"
            echo "Plot          : ${themoviedb_plot}"
            echo "# /DEBUG ----------------------------------------------------------------------"
        fi
    else
        echo "Die NFO gibt es nicht oder enthaelt keine IMDB-ID ..."
    fi
}

Ausgabe: imdb "datei.nfo" "debug"

Code:

# DEBUG -----------------------------------------------------------------------
Titel         : The Shawshank Redemption
Titel (DE)    : Die Verurteilten
Jahr          : 1994
Laufzeit      : 142 min
Genre         : Crime, Drama
Schauspieler  : Tim Robbins, Morgan Freeman, Bob Gunton, William Sadler
Land          : USA
Poster        : http://ia.media-imdb.com/images/M/MV5BODU4MjU4NjIwNl5BMl5BanBnXkFtZTgwMDU2MjEyMDE@._V1_SX300.jpg
Bewertung     : 9.3
Votes         : 1
Typ           : movie
Plot          : Das Shawshank Gefängnis in den 30ern: der wegen Mordes an seiner Frau verurteilte Andy Dufresne kommt als Neuling lebenslänglich hinter Gittern. Zurückhaltend wie er ist, ist er ständig das Ziel sexueller Angriffe, doch als er als Banker durchblicken läßt, daß er finanziell für den Direktor und die Wärter eine Menge tun kann, ist für seine Sicherheit gesorgt. Langsam aber sicher freundet er sich mit dem Langzeitinsassen Red an, baut die Gefängnisbibliothek auf und rückt nie von seiner Überzeugung ab, unschuldig zu sein. Viele Jahre vergehen, bis etwas geschieht, was sogar Reds Leben für immer verändern wird...
# /DEBUG ----------------------------------------------------------------------

apikey: Es muss zuvor ein Account erstellt und der Key eingetragen werden.

Code:

movie_votes=`echo "${omdb}" | cut -d\" -f40 | cut -d\, -f1`

Hat das nen tieferen Sinn, dass du bei den Votes alles nach der ersten Zahl entfernst?

Zitat von FLX

nfoIMDB=`echo "$nfofile" |grep -m1 -oE "tt[0-9]{7}"`[/code]

Bei Binärdateien gibts da Probleme - eine Lösung anbei.

Ausgabe

Code:

cat "${nfo_name}" | grep -m1 -oE "tt[0-9]{7}"
Übereinstimmungen in Binärdatei (Standardeingabe).

Lösung

Code:

tr '[\000-\011\013-\037\177-\377]' '.' < ${nfo_name} | grep -m1 -oE "tt[0-9]{7}"

Zusatz
Wurde oben mit eingebaut - somit ändert sich die Ausführung wie folgt

Code:

imdb "datei.nfo" # ohne Ausgabe
imdb "datei.nfo" "debug" # mit Ausgabe

Wurde mal noch um Socks5 Proxy für Abfragen der Schnittstellen erweitert

Code:

    proxy_user=""
    proxy_pass=""
    proxy_host=""
    proxy_port=""
    if ([ -n "${proxy_user}" ] && [ -n "${proxy_pass}" ] && [ -n "${proxy_host}" ] && [ -n "${proxy_port}" ]); then
​        PROXY_IF="-U ${proxy_user}:${proxy_pass} --socks5 ${proxy_host}:${proxy_port}"
    else
​        unset PROXY_IF
    fi

Die Variable "PROXY_IF" darf hinter cURL ruhig stehen bleiben - sofern sie gefüllt ist, werden die Daten über den Socks geleitet - andernfalls ist kein Proxy aktiv. Sinnig ist es natürlich die Proxy-Daten vor Aufruf einzulesen und nicht manuell hier innerhalb der Funktion anzupassen - das wurde lediglich zum Verständnis aufgenommen.

Arbeite sehr gern mit einer Proxy-Rotation. Zum Beispiel wenn man auf einem Server mehrere Adressen hat und diese per ipTables in Rotation laufen lässt. So kann ein Funktionsaufruf über die eine IP raus gehen, der nächste über die andere, usw... Nutze dazu "mocks proxy", adde dann meine IP-Adressen auf dem Server. cURL spricht mit mocks und durch die ipTable-Rotation geht er immer über eine andere IP raus. Man kann natürlich auch einen Crawler schreiben der diverse Proxy-Seiten einliest, die Proxies vor Absetzen des Funktionsaufrufs checkt und dann einen derer nutzt... möglich ist alles

Sowas geht natürlich auch prima mit dem TOR-Netzwerk. So habe ich mir ein TOR-Relay aufgesetzt und habe ihn für meine IP-Adresse als SOCKS freigegeben. Damit lässt sich dann auch einfach arbeiten. Ein kleiner Cronjob der auf den TOR-Server ein reload macht (neue IP beziehen), und host:port für cURL verwenden. Ist natürlich gerade beim verschieben von großen Dateien aufgrund der geringen Bandbreite/schlechten Routings... untauglich.. aber möglich. Zuvor findet natürlich ein "uptime check" des Hosts statt ob der Proxy nicht beim Host gesperrt ist... wenn doch kann man in einer Schleife ein reload machen bis es durch geht.

Zum Beispiel wenn man auf einem Server mehrere Adressen hat

Hierzu sei erwähnt, dass man in diesem Fall auch das "interface" Argument nutzen kann.

Ja, das wäre logisch.
Nur, es wird aber nicht versucht von drei Seiten die Komplettinfos zu einem Film abzurufen, sondern von jeder der Seiten ein Schnipsel genommen. Gerade eben weil der Datenbestand unterschiedlich ist, ist die wahrscheinlichkeit das Teilinfos fehlen damit größer, da der Film auf allen drei Seiten vorhanden sein muß.
Und da wollte ich die Gründe dafür wissen.